一.前言

初到一家创业公司，环境艰苦，什么都得自己搭建

二.安装

当前系统： Ubuntu 18.04.2 LTS (GNU/Linux 4.15.0-48-generic x86_64)

1.初始化： pip install apache-airflow

        可能会出的BUG，pip数据源过于慢或者下载出错，这种情况下用阿里云或者清华大学pip数据源代替；某些公司内外网隔离的环境下，运维是否给配置了外网IP，否则表现为一直等待或者报错；内网情况可以选择离线安装方式，具体操作可参考下列资料中；pip install airflow为旧版本初始化，现在已经不支持了。执行：pip3 install apache-airflow/pip install apache-airflow的时候会报如下错误 ,请先初始化sudo apt-get install python3-dev/sudo apt-get install python-dev

2.初始化数据库：

        参照官网使用pip install apache-airflow[all]初始化所有扩展支持，肯定会失败，会涉及到一系列的依赖，很容易陷入不停安装不同依赖的死循环之中，所以建议使用到什么初始化什么。

        airflow默认启动的管理数据库sqlite,我这边选用mysql所以需要进行mysql相关环境安装:sudo apt-get install mysql mysql-server mysql-devel,pip install airflow[mysql],此处由于mysql版本依赖问题可能会报错，但是无非就是换高低版本问题；mysql环境搭建好后建一个airflow库，供work启动初始化写相关记录信息用；然后修改airflow.cfg中的sql_alchemy_conn，broker_url，result_backend字段关于airflow数据库连接信息：dialect+driver://username:password@host:port/database

再执行airflow initdb进行数据库的初始化，执行成功后airflow库会看到初始化的相关的表

3.启动服务

         启动项设置

        export PATH=$PATH:/home/ubuntu/.local/bin/

        # 启动 webserver

                nohup airflow webserver >>/home/ubuntu/airflow/logs/webserver.log 2>&1 &

        # 启动调度程序

                nohup airflow scheduler >>/home/ubuntu/airflow/logs/scheduler.log 2>&1 &

        # 启动 Celery

                nohup airflow worker >>/home/ubuntu/airflow/logs/worker.log 2>&1 &

接下来应该就能看到web配置界面了

三.WEB页面功能说明

DAG：dag_id

Schedule：调度时间

Owner：dag拥有者

Recent Tasks：这里包含9个圆圈，每个圆圈代表task的执行状态和次数

圈1 success：现实成功的task数，基本上就是该tag包含多少个task，这里基本上就显示几。

圈2 running：正在运行的task数

圈3 failed：失败的task数

圈4 unstream_failed:

圈5 skipped:跳过的task数

圈6 up_for_retry:执行失败的task，重新执行的task数

圈7 queued：队列，等待执行的task数

圈8 ：

圈9 scheduled:刚开始调度dag时，这一次执行总共调度了dag下面多少个task数，并且随着task的执行成功，数值逐渐减少。

Last Run：dag最后执行的时间点

DAG Runs：这里显示dag的执行信息，包括3个圆圈，每个圆圈代表dag的执行状态和次数

圈1 success：总共执行成功的dag数，执行次数

圈2 runing：正在执行dag数

圈3 faild：执行失败的dag数

Links：

Code View： 查看任务执行代码

Logs ：查看执行日志，比如失败原因

Refresh ：刷新dag任务

Delete Dag ：删除该dag任务

三.相关资料整理

1.官网

http://airflow.apache.org/

2.默认参数介绍

https://blog.csdn.net/ciqingloveless/article/details/88723944

3.默认模板代码介绍

https://www.jianshu.com/p/cbff05e3f125